马礼 北方工业大学信息工程学院 北京 100144李敬喆 北方工业大学信息工程学院 北京 100144葛根焰 北京信息高技术研究所 北京 100085杨银刚 北京信息高技术研究所 北京 100085
摘 要:随着多核计算机的发展,多核PC机已经可以完成许多大规模计算任务,然而面对海量数据的处理,存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈,从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法,以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策略,实现了在多核平台下针对海量数据的高速并行提取.实验表明,此种方法充分发挥了多核环境的特点,并在数据量增大的情况下有良好的适应性.
关键词:海量数据;多核;快速读取;并行;负载均衡
中图分类号:TP311
馆藏号:h065039
所有评论仅代表网友意见